Приветствую, уважаемые читатели Хабра. Меня зовут Николай Французов, я digital-аналитик в компании Tele2, занимаюсь сбором и анализом данных, построением дашбордов и проведением А/В-тестов.

Я хотел бы рассказать вам о том, как мы проводим тесты в нашем проекте, и поделиться опытом, возможно, логикой проведения и приведенными процессами вы сможете воспользоваться в ваших проектах, а python-фишечки по расчету fixed horizon и анализу результатов пригодятся в ваших исследованиях.

Структура

• Кратко про АВ-тесты

• Процесс проведения —  первая часть, работа аналитика данных. Расчет fixed horizon и формирование ТЗ;

• Процесс проведения —  вторая часть, работа аналитика стрима проекта. Настройка;

• Процесс проведения —  третья  часть, сбор данных, анализ результатов и выводы.

Кратко про АВ-тесты

А/В-тестирование это где…

• Проверяется два и более варианта (контроль и тест) с целью определения наиболее эффективного;

• Степень эффективности “измеряется” с помощью